package com.atbeijing.bigdata.spark.core.rdd.part

import org.apache.spark.{Partitioner, SparkConf, SparkContext}

object Spark02_RDD_IO_Save {

    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local").setAppName("Partitioner")
        val sc = new SparkContext(conf)
        val rdd = sc.makeRDD(
            List(
                ("nba", "xxxx"),
                ("cba", "xxxx"),
                ("cba", "xxxx"),
                ("cba", "xxxx"),
                ("nba", "xxxx"),
                ("wnba", "xxxx"),
            ),3
        )
        //保存为text文件
        rdd.saveAsTextFile("output1")
        //保存为object对象文件
        //对象文件是将对象序列化后保存的文件，采用Java的序列化机制。
        rdd.saveAsObjectFile("output2")
        //保存为sequence文件
        //SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。
        rdd.saveAsSequenceFile("output3")
        sc.stop()
    }
}
